Sau khi giành chính quyền, ông được cử làm Ủy viên quân sự Việt Minh tại Lạng Sơn, kiêm chức Chi đội phó Chi đội Lạng Sơn. Sau khi Vệ quốc đoàn được tổ chức chính quy hóa, Chi đội Lạng Sơn trở thành Trung đoàn 28, ông được giữ chức vụ Trung đoàn trưởng. Năm 1947, ông được cử làm Ủy viên quân sự trong Ủy ban Hành chính Kháng chiến Hà Nội.

Năm 1951, khi Đại đoàn 320 được thành lập, ông được cử về giữ chức vụ Đại đoàn phó. Cuối năm 1952, ông đổi lại tên là Phùng Thế Tài với lý do "Hồi đó Bác Hồ đặt tên Hữu Tài cho mình là có ý của Bác, nhưng mình nghe người ta bảo gọi Hữu Tài dễ sinh ra kiêu căng tự phụ, thiếu khiêm tốn, nên cuối năm 1952, mình xin Bác cho đổi lại là Phùng Thế Tài và Bác đã đồng ý".

Sau chiến thắng Điện Biên Phủ, tháng 9 năm 1954, ông được cử làm Đại đoàn trưởng Đại đoàn Pháo binh 349 vừa được thành lập (sau đổi thành sư đoàn). Năm 1958, ông được phong quân hàm Thượng tá.

Từ tháng 11 năm 1961 đến tháng 11 năm 1962, ông giữ chức Hiệu trưởng trường Sĩ quan Pháo binh, kiêm Tham mưu trưởng Binh chủng Pháo binh.

Tháng 12 năm 1962, ông là Tư lệnh Binh chủng Phòng không. Năm 1963, Quân chủng Phòng không - Không quân thành lập, ông được cử giữ chức Tư lệnh đầu tiên của quân chủng này.

Năm 1967, ông được phong quân hàm Đại tá và cử giữ chức vụ Phó Tổng tham mưu trưởng Quân đội nhân dân Việt Nam. Ông giữ chức vụ này trong 20 năm cho đến khi về hưu vào năm 1987.

Ông tham gia lãnh đạo 2 quân chủng: lục quân, không quân và 1 binh chủng: pháo binh.

Ông được phong quân hàm Thượng tá (1958), Đại tá (1967), Thiếu tướng (1974), Trung tướng (1980), Thượng tướng (1986).